Metric	Score
Weighted-F1	52.01
Hyphens-F1	46.52
Comma-F1	64.45
Ellipsis-F1	0.00
Fullstop-F1	43.26
QMark-F1	28.70
Colon-F1	71.36
Excl-F1	0.00

Metric	Score
Weighted-F1	51.21
Hyphens-F1	37.59
Comma-F1	68.43
Ellipsis-F1	100.00
Fullstop-F1	39.43
QMark-F1	16.84
Colon-F1	57.65
Excl-F1	0.00

worst items

note: the gold standard is taken from the challenge

#	input	expected output	actual output	test-D Weighted-F1
1	wikitalks001699 wnioskuję o usunięcie części pt " linki zewnętrzne " ponieważ po kliknięciu na link nie otwiera się żadna bibliografia bkwg …	O O O O B-FULLSTOP O O O B-COMMA O O O O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O B-FULLSTOP…	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-…	12.03
2	wikitalks0016312 od kiedy death metal i black metal to odmiana heavy metalu od zgoła 20 lat 1 motorhead judas priest venom death death metal…	O O O O O O O O O O B-QMARK O O O B-FULLSTOP O B-COMMA O B-HYPHEN O B-HYPHEN O O O B-COMMA O B-HYPHEN B-COMMA B-HYPHEN O O O O O O O O O O O…	O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O B-KOLON O…	12.55
3	wikitalks0016207 zbrojnik niebieski to ancistrus multispinis " bristlenose catfish " a ancistrus dolichopterus to l183 " starlight bristleno…	O O O O O O O O O O O O O B-COMMA O O O O B-KOLON O B-COMMA O O B-QMARK O O O B-FULLSTOP O O O O O O O O B-COMMA O B-FULLSTOP O O B-COMMA O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O …	16.33
4	wikinews184105 4 października w godzinach wieczornych po raz 17 przyznano ig noble zwane też anty noblami dostają je naukowcy których badani…	O O O O O O O O O O O O O O B-FULLSTOP O O B-COMMA O O O O O O O B-COMMA O O O O B-FULLSTOP O O O O B-KOLON O O O O O O B-HYPHEN O O O B-COM…	O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O B-KOLON O O O O O O O O O O B-COMMA O O O O O O O O …	18.82
5	wikitalks004346 w odniesieniu do ich surowego życia może coś przeoczyłem ale nie widzę 'fantazyjności' nie szukając daleko finezyjne jak to …	O O O O O B-QMARK O O B-COMMA O O O B-FULLSTOP O O B-HYPHEN O O O B-QMARK O O O O O O O O B-XCL O O O O O O O O O B-COMMA O O O O O O O O O …	O O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O B-KOLON O O O O …	19.90
6	wikitalks0016311 " armia pakistańska wymordowała w delcie gangesu ok 1 1 5 miliona cywilów i dopuściła się bezprecedensowo straszliwej liczb…	O O O O O O O B-FULLSTOP B-HYPHEN B-COMMA B-HYPHEN O O O O O O O O B-FULLSTOP O O B-HYPHEN O O O O B-QMARK O B-KOLON O O O O O O O O B-KOLON…	O O O O O O O O B-COMMA B-COMMA O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O B-FULLSTOP O O O O B-KOLON O O O B-FULLSTOP O O O O O…	20.19
7	wikitalks0017075 ani słowa o zachowaniach agresywnych kiedy poziom nikotyny spada a potrafią one być skrajne znam również sytuacje kiedy już…	O O O O O O O O B-FULLSTOP O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O O O B-COMMA O O O O O O O O O O O O O B-QMARK O…	O O O O B-COMMA O O O B-COMMA O O O O O B-FULLSTOP O B-COMMA O O O O O O O O O O O O B-FULLSTOP O O O O O B-COMMA O O O O B-COMMA O O O O O …	22.06
8	wikitalks009315 co to są " kanały półlegalne " pochodzenie mianem " bootlegers " określano przemytników przemycających towar w butach w xvii…	O O O O O O B-QMARK B-KOLON O O O O O O O O O O O O B-COMMA O O O O O B-FULLSTOP O O O O O O O O O B-QMARK O O O B-QMARK O O O O O O O B-FUL…	O O O O O B-QMARK O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O B-QMARK…	22.41
9	wikitalks0012102 druga z pomorskich linii tym razem bardzo lokalna łącząca stolice dwóch powiatów problem jest z historią linii gdyż w zasad…	O O O B-COMMA O O O O O O O B-FULLSTOP O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O…	O O O B-COMMA O O O B-COMMA O O O B-FULLSTOP O O O O B-COMMA O O O O O O O O B-FULLSTOP O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O …	23.27
10	wikitalks0016538 polactwo zbiorem felietonów klisu właśnie toż to traktat polityczny sugeruję korektę mendel poprawiłem a j raz nie zerwał o…	O O B-HYPHEN O B-XCL O O O B-FULLSTOP O B-FULLSTOP O B-FULLSTOP B-FULLSTOP B-FULLSTOP O O O O O O O O B-HYPHEN O O O O O O B-HYPHEN O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O …	25.26
11	wikinews227796 25 maja rząd odpowie na żądania strajkujących lekarzy ogólnopolski związek zawodowy lekarzy domaga się miliarda złotych na po…	O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O B-COMMA O O O O O O O O O O O O O O B-FULLSTOP O O …	O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O …	25.35
12	wikinews225483 w domu kultury 502 w łodzi ul a sacharowa 16 na widzewie wschodzie od 23 października 1990 r działa widzewska galeria ekslibr…	O O O O O O B-FULLSTOP B-FULLSTOP O O O B-HYPHEN O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O O O B-COMMA B-FULLSTOP O O O …	O O O O O B-COMMA O O O O O B-HYPHEN O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O …	25.84
13	wikitalks003512 dlaczego data wejścia w życie konstytucji rózni się od tej podanej na stronie angielskiej wersji wikipedi xmikolajx poprawka…	O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O B-KOLON O O O O O O B-COMMA O O O B-COMMA O O O O O O O B-COMMA O O O B-COMMA O O O …	O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O O O O O O O O O B-FULLSTOP O O O O…	26.79
14	wikinews226727 zarząd dróg i transportu w łodzi przedstawił harmonogram prac przy przebudowie trasy w z inwestycji obejmującej nie tylko wbu…	O O O O O O O O O O O O B-HYPHEN O O O O O O O B-COMMA O O O O O O B-FULLSTOP O O O O O O O B-FULLSTOP O O B-FULLSTOP O O B-FULLSTOP O O O O…	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O O O…	27.54
15	wikitalks007788 link do " archiwalna strona wp pl z 12 lutego 1998 roku " nie dzial w chwili testowania dostep 2006 05 31 teraz dziala herr …	O O O O O B-FULLSTOP O O O O O O O O O O O B-HYPHEN B-KOLON B-HYPHEN O B-HYPHEN O B-FULLSTOP O O O O O O O O O O O O O O B-FULLSTOP O O O O …	O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	27.57
16	wikitalks005217 zgłoszenie zostało przeniesione z wikipedia zgłoś błąd w artykule ponieważ prawdopodobnie nie zostało rozwiązane w ciągu 45 …	O O O O B-KOLON O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O B-COMMA O O O B-QMARK O O O O O O B-COMMA O B-FULLSTOP B-KOLON O B-KOLO…	O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-KOLON O O O O O O O O O O O O O O O O O …	28.34
17	wikitalks008601 a co z wyrażeniem " oblucja " " w kościele rzymskokatolickim " dlaczego na wstępie tego artykułu jest napisane że ablucja to…	O O O O O O B-QMARK O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O B-QMARK O O O O O B-COMMA O O O O O B-FULLSTOP O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-QMARK O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O B-…	28.43
18	wikitalks0017422 dlaczego w histori nie ma wspomnienia o grabarzu i jego torturach 5077 70 8 pewnie dlatego że nie dotarli do odpowiedniej l…	O O O O O O O O O O B-QMARK O O O O B-COMMA O O O O O B-FULLSTOP O O O O O O O B-QMARK O O O O O B-FULLSTOP O O O O B-QMARK O O O O O O B-KO…	O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O …	28.49
19	wikitalks002735 artykuł miesza tezy naukowe z tezami wyssanymi z palca oraz ew fiolozofii i religii nie mówiać przy tym która jest która nie…	O O O O O O O O O O B-FULLSTOP O O B-COMMA O O O O O O B-FULLSTOP O O O O O B-FULLSTOP O O O O B-FULLSTOP B-FULLSTOP O B-KOLON O B-KOLON O O…	O O O O O O O O O O O O O B-COMMA O B-FULLSTOP O B-COMMA O B-COMMA O O B-COMMA O O O B-COMMA O O O O O O O O O B-FULLSTOP O O O O O O O O O …	29.09
20	wikinews179014 w gdańsku zgodnie już z coroczną czerwcową tradycją odbył się wielki przejazd rowerowy ulicami miasta początek przejazdu ma m…	O O O O O B-COMMA O O O O O O O O B-FULLSTOP O O O O O O O O O O B-COMMA O O B-FULLSTOP B-COMMA O O O O O O O B-FULLSTOP O O O O O O O O B-F…	O B-FULLSTOP O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O B-COMMA O O O O O O O B-FULLSTOP O B-FULLSTOP O O O O O O O B…	29.70
21	wikinews227317 drugiego maja wchodzi w życie rozporządzenie ministra transportu i budownictwa z dnia 20 kwietnia zmieniające rozporządzenie …	O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP …	O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	29.78
22	wikinews196417 " dlaczego ścigano wachowskiego a szczególnie dlaczego robiono rewizje wachowskiemu dlatego że chciano znaleźć oryginalne]] p…	O O O B-COMMA O O O O O B-FULLSTOP B-COMMA O O O B-COMMA O B-COMMA O O O O O O B-HYPHEN O O O O O B-COMMA O O O O O B-COMMA O O B-FULLSTOP O…	O O O B-COMMA O O O O O B-COMMA B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O B-COMMA O B-…	32.67
23	wikinews182510 około godziny 11 00 w okolicy skrzyżowania ulic lisowskiej i żeromskiego w warszawie podczas prac remontowych doszło do uszko…	O O B-KOLON O O O O O O O O O O O O O O O O B-COMMA O O O O B-FULLSTOP O O B-COMMA O O B-HYPHEN O O O O O B-FULLSTOP O O O B-COMMA O O O B-C…	O O B-KOLON O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-…	32.71
24	wikitalks0014582 kolego gregul sprawa jest prosta pojęcie stateczności stabilności dotyczy nie tylko układów sutomatycznej regulacji ale tak…	O B-COMMA O O B-KOLON O O O O O O O O B-COMMA O O O B-FULLSTOP O O O O O B-QMARK O O O O O O O O O O B-COMMA O O O O O O O O B-QMARK O O B-H…	O B-KOLON O O B-KOLON O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O …	32.78
25	wikinews188298 armia pakistańska rozpoczęła ponad tydzień temu operację w górskich rejonach waziristanu w nalotach lotnictwa pakistanu i usa…	O O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O B-COMMA O O O O O B-FULLSTOP O O O B-COMMA O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O …	32.81
26	wikitalks0016801 o co chodzi z tym " tramwaje w polsce " to może od razu ramka z " przejściami granicznymi w polsce " albo " puby w polsce "…	O O O O B-KOLON O O O O B-QMARK O O O O O O O O O O O B-COMMA O O O O O B-QMARK B-FULLSTOP B-FULLSTOP O O B-COMMA O O O O B-FULLSTOP O B-KOL…	O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O B-COMMA O O O O B-FULLSTOP O B-KOLON B-COMMA O O O O O O O O O O O O O…	33.17
27	wikitalks001598 co za bzdura z tym że saiyanom nie rosły włosy może na głowie ale nie dotyczy to zarostu połowa saiyan miała zarost chyba ni…	O O O O O O O O O B-QMARK O O B-COMMA O O O O B-XCL O O O B-COMMA O O O O O O O B-QMARK O O O O O O O O O B-XCL O O O B-XCL O O O O O B-COMM…	O O O O B-COMMA O O O O B-COMMA O O B-COMMA O O O O B-QMARK O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMM…	33.33
28	wikitalks0014941 skąd informacja że krzyż i tablica były umieszczone nielegalnie czy autor edycji mógłby podać źródło czy liczy się dodanie …	O B-COMMA O O O O O O B-QMARK O O O O O B-QMARK O O O B-COMMA O O B-QMARK O O O B-FULLSTOP O B-COMMA O O O B-HYPHEN O B-COMMA O B-QMARK O O …	O B-COMMA O O O O O O B-COMMA O O O O B-QMARK O O O O O O O O O O O O O O O O O B-QMARK O B-COMMA O O O O O O O B-QMARK O O O B-COMMA O O B-…	33.49
29	wikinews183089 dziś tuż przed godziną dziesiątą zawitał w szczecinie jacht rona ii tuż po nim na horyzoncie pojawił się żaglowiec szkolny ma…	O O O O O O O O O O B-FULLSTOP O O B-COMMA O O O O O O O O O B-HYPHEN O O O B-FULLSTOP O O O O O O O B-COMMA O O O O O O O O O O B-FULLSTOP …	O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O B-COMMA B-COMMA B-COMMA …	33.52
30	wikitalks0012907 rozbudowałem znacząco w ostatnim czasie myślałbym o zgłoszeniu do da proszę o ewentualne uwagi pod tym kątem misiek2 pisz w…	O O O O B-COMMA O O O O B-FULLSTOP O O O O O O B-FULLSTOP O O O O O O O O B-KOLON O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O B-COMM…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O B-COMMA O O O O O O O B-COMMA O …	33.81
31	wikitalks004052 a dlaczego dane są tylko do 2017 roku źródła przepraszam ja nie posiadam źródeł ale na początku winna być poprawka wzrost lu…	O O O O O O O B-QMARK O B-COMMA O O O O O O O O O B-HYPHEN O O O O O O O O B-FULLSTOP B-FULLSTOP O O B-FULLSTOP O O O O O O O B-COMMA O B-HY…	O O O O O O O B-QMARK B-KOLON B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O …	34.40
32	wikitalks001549 nie zmieniłem tego ale wydaje mi się że zamiast " buddyźmie " " marksiźmie " " relatywiźmie " powinno być " buddyzmie " " ma…	O O B-COMMA O O O B-COMMA O O O O B-COMMA O O B-COMMA O O O O O O O B-COMMA O O B-COMMA O O B-FULLSTOP O O O O O O O O O O O B-COMMA O O O O…	O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O …	34.45
33	wikitalks001872 dlaczego eurocopter ec725 super cougar i dalej " " a h225m caracal jak znam życie i ryst tą samą maszyną co ej ein ek to ec7…	O O O O O O O O B-COMMA O O B-QMARK O O O O O O O O O O O B-COMMA O O O O O O B-FULLSTOP O O B-FULLSTOP O O B-QMARK B-KOLON B-COMMA O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O …	34.67
34	wikinews186838 portal nasza klasa pl pojawił się w sieci w listopadzie 2006 roku początkowo działał niekomercyjnie m in z uwagi na słabą pop…	O B-HYPHEN B-FULLSTOP B-HYPHEN O O O O O O O B-FULLSTOP O O B-COMMA B-FULLSTOP B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O B-COMMA O O…	O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O B-COMMA O O O O O O B-COMMA O O O O B-FULLSTOP…	34.67
35	wikinews231893 9 maja na białorusi obchodzony jest dzień zwycięstwa w pochodzie w mińsku uczestniczył prezydent aleksander łukaszenka z syna…	O O O O O O O B-FULLSTOP O O O O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O O B-COMMA O O O O O B-COMMA O O O O B-FULLSTOP O O O O O B-…	O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O B-COMMA O O O O O B-COMMA O O O O O B-FUL…	35.80
36	wikinews189958 w minionym tygodniu rozpoczęła się w chinach budowa bloku elektrowni jądrowej ningde 4 na dwóch innych placach budowy reaktor…	O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O B-FULLSTOP O O O O O O B-HYPHEN …	O O B-FULLSTOP O O O O O O O O B-HYPHEN O O O O O O O B-FULLSTOP O O B-FULLSTOP O O O O O B-HYPHEN O O O B-FULLSTOP O B-FULLSTOP O O B-FULLS…	36.14
37	wikitalks0011067 o ile mnie pamięć nie myli bo wpis ten zniknął z historii dyskusji autorem tej zadziwiającej mnie treści był wikipedysta wi…	O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O B-FULLSTOP O O O O O O B-COMMA O O O B-COMMA O O O O O B-QMARK B-COMMA O O O O B-COMMA O…	O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O B-QMARK B-COMMA O O O O O O O O O O O O O O O O …	36.15
38	wikinews218360 na terenach wystawowych w pradze w dniach 13 16 maja 2010 r odbyły się targi książki svět knihy w tym roku gościem honorowym …	O O O O O O O B-HYPHEN O O O B-FULLSTOP O O O O O B-FULLSTOP O O O O O O O B-FULLSTOP O O O O O O O O O O O O O B-FULLSTOP O O O O O O O B-F…	O O O O B-FULLSTOP O O B-HYPHEN O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA…	36.20
39	wikinews188756 polskie siatkarki pokonały niemki 3 0 w małym finale mistrzostw europy 2009 i sięgnęły po brązowe medale niedoświadczonym prz…	O O O O B-KOLON O O O O O O O O O O O B-FULLSTOP O O O O B-COMMA O O O O O O O B-FULLSTOP O O O O B-COMMA O O O O B-HYPHEN O O O B-FULLSTOP …	O O O O B-KOLON O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O B-…	36.69
40	wikinews239126 o godzinie 12 06 04 czasu polskiego chiny wystrzeliły sondę księżycową chang'e 1 jest to pierwszy chiński statek kosmiczny wy…	O O B-KOLON B-KOLON O O O O O O O B-HYPHEN O O O O O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O B-COMMA O O O O O O O O B…	O O B-KOLON B-KOLON O O O O O O B-FULLSTOP B-HYPHEN O O O O O O O O O O B-COMMA O O O B-FULLSTOP O O O O O B-COMMA O O O O O O B-COMMA O O O…	37.30